
            <!DOCTYPE html>
            <html lang="en">
            <head>
                <meta charset="UTF-8">
                <title>针对大集群node 对 Kubernetes 集群七大优化大法</title>
            </head>
            <body>
            <a href="https://andyoung.blog.csdn.net">原作者博客</a>
            <div id="content_views" class="markdown_views prism-atom-one-light">
                    <svg xmlns="http://www.w3.org/2000/svg" style="display: none;">
                        <path stroke-linecap="round" d="M5,0 0,2.5 5,5z" id="raphael-marker-block" style="-webkit-tap-highlight-color: rgba(0, 0, 0, 0);"></path>
                    </svg>
                    <h4><a id="_0"></a>一、节点配额和内核参数调整</h4> 
<p>对于公有云上的 Kubernetes 集群，规模大了之后很容器碰到配额问题，需要提前在云平台上增大配额。这些需要增大的配额包括：</p> 
<ul><li>虚拟机个数</li><li>vCPU 个数</li><li>内网 IP 地址个数</li><li>公网 IP 地址个数</li><li>安全组条数</li><li>路由表条数</li><li>持久化存储大小</li></ul> 
<p>参考gce随着node节点的增加master节点的配置：</p> 
<ul><li>1-5 nodes: n1-standard-1</li><li>6-10 nodes: n1-standard-2</li><li>11-100 nodes: n1-standard-4</li><li>101-250 nodes: n1-standard-8</li><li>251-500 nodes: n1-standard-16</li><li>more than 500 nodes: n1-standard-32</li></ul> 
<p>参考阿里云配置：</p> 
<pre><code>节点规模	Master规格
1-5个节点	4C8G(不建议2C4G)
6-20个节点	4C16G
21-100个节点	8C32G
100-200个节点	16C64G
</code></pre> 
<p>增大内核选项配置 /etc/sysctl.conf：</p> 
<pre><code># max-file 表示系统级别的能够打开的文件句柄的数量， 一般如果遇到文件句柄达到上限时，会碰到"Too many open files"或者Socket/File: Can’t open so many files等错误。
fs.file-max=1000000

# 配置arp cache 大小
net.ipv4.neigh.default.gc_thresh1=1024
# 存在于ARP高速缓存中的最少层数，如果少于这个数，垃圾收集器将不会运行。缺省值是128。

# 保存在 ARP 高速缓存中的最多的记录软限制。垃圾收集器在开始收集前，允许记录数超过这个数字 5 秒。缺省值是 512。
net.ipv4.neigh.default.gc_thresh2=4096

# 保存在 ARP 高速缓存中的最多记录的硬限制，一旦高速缓存中的数目高于此，垃圾收集器将马上运行。缺省值是1024。
net.ipv4.neigh.default.gc_thresh3=8192

# 以上三个参数，当内核维护的arp表过于庞大时候，可以考虑优化

# 允许的最大跟踪连接条目，是在内核内存中netfilter可以同时处理的“任务”（连接跟踪条目）
net.netfilter.nf_conntrack_max=10485760

# 哈希表大小（只读）（64位系统、8G内存默认 65536，16G翻倍，如此类推）
net.core.netdev_max_backlog=10000
# 每个网络接口接收数据包的速率比内核处理这些包的速率快时，允许送到队列的数据包的最大数目。
net.netfilter.nf_conntrack_tcp_timeout_established=300
net.netfilter.nf_conntrack_buckets=655360

# 关于conntrack的详细说明：https://testerhome.com/topics/7509

# 默认值: 128 指定了每一个real user ID可创建的inotify instatnces的数量上限
fs.inotify.max_user_instances=524288

# 默认值: 8192 指定了每个inotify instance相关联的watches的上限
fs.inotify.max_user_watches=524288
</code></pre> 
<h4><a id="Etcd__69"></a><strong>二、Etcd 数据库</strong></h4> 
<p><strong>1、搭建高可用的etcd集群，集群规模增大时可以自动增加etcd节点；</strong></p> 
<p>目前的解决方案是使用etcd operator来搭建etcd 集群，operator是CoreOS推出的旨在简化复杂有状态应用管理的框架，它是一个感知应用状态的控制器，通过扩展Kubernetes API来自动创建、管理和配置应用实例。</p> 
<p>etcd operator 有如下特性：</p> 
<ul><li>ceate/destroy: 自动部署和删除 etcd 集群，不需要人额外干预配置。</li><li>resize：可以动态实现 etcd 集群的扩缩容。</li><li>backup：支持etcd集群的数据备份和集群恢复重建</li><li>upgrade：可以实现在升级etcd集群时不中断服务。</li></ul> 
<p>2、配置etcd使用ssd固态盘存储；</p> 
<p>3、设置 —quota-backend-bytes 增大etcd的存储限制。默认值是 2G；</p> 
<p>4、需要配置单独的 Etcd 集群存储 kube-apiserver 的 event。</p> 
<h4><a id="Kube_APIServer__90"></a><strong>三、Kube APIServer 配置</strong></h4> 
<h5><a id="1_Docker__92"></a>1. Docker 配置</h5> 
<ul><li>设置 max-concurrent-downloads=10<br> 配置每个pull操作的最大并行下载数，提高镜像拉取效率，默认值是3。</li><li>使用 SSD 存储。</li><li>预加载 pause 镜像，比如 docker image save -o /opt/preloaded_docker_images.tar 和docker image load -i /opt/preloaded_docker_images.tar 启动pod时都会拉取pause镜像，为了减小拉取pause镜像网络带宽，可以每个node预加载pause镜像。</li></ul> 
<h5><a id="2_Kubelet_99"></a>2. Kubelet配置</h5> 
<ul><li>设置 --serialize-image-pulls=false<br> 该选项配置串行拉取镜像，默认值时true，配置为false可以增加并发度。但是如果docker daemon<br> 版本小于 1.9，且使用 aufs 存储则不能改动该选项。</li><li>设置 --image-pull-progress-deadline=30<br> 配置镜像拉取超时。默认值时1分，对于大镜像拉取需要适量增大超时时间。</li><li>Kubelet 单节点允许运行的最大 Pod 数：–max-pods=110（默认是 110，可以根据实际需要设置）。</li></ul> 
<h5><a id="3_registry_p2p_108"></a>3. 镜像registry p2p分发</h5> 
<h4><a id="Kube_APIServer__110"></a>四、Kube APIServer 配置</h4> 
<p>node节点数量 &gt;= 3000， 推荐设置如下配置：</p> 
<pre><code>--max-requests-inflight=3000
--max-mutating-requests-inflight=1000
</code></pre> 
<p>node节点数量在 1000 – 3000， 推荐设置如下配置：</p> 
<pre><code>--max-requests-inflight=1500
--max-mutating-requests-inflight=500
</code></pre> 
<p>内存配置选项和node数量的关系，单位是MB：</p> 
<pre><code>--target-ram-mb=node_nums * 60
</code></pre> 
<h4><a id="Pod__134"></a>五、Pod 配置</h4> 
<p>在运行 Pod 的时候也需要注意遵循一些最佳实践，比如:</p> 
<ul><li> <p>为容器设置资源请求和限制，尤其是一些基础插件服务</p> <pre><code>spec.containers[].resources.limits.cpu
spec.containers[].resources.limits.memory
spec.containers[].resources.requests.cpu
spec.containers[].resources.requests.memory
spec.containers[].resources.limits.ephemeral-storage
spec.containers[].resources.requests.ephemeral-storage
</code></pre> <p>在k8s中，会根据pod不同的limit 和 requests的配置将pod划分为不同的qos类别：<br> - Guaranteed<br> - Burstable<br> - BestEffort<br> 当机器可用资源不够时，kubelet会根据qos级别划分迁移驱逐pod。被驱逐的优先级：BestEffort &gt; Burstable &gt; Guaranteed</p> </li><li> <p>对关键应用使用 nodeAffinity、podAffinity 和 podAntiAffinity 等保护，<br> 使其调度分散到不同的node上。比如kube-dns 配置：</p> </li></ul> 
<pre><code>affinity:
 podAntiAffinity:
   requiredDuringSchedulingIgnoredDuringExecution:
   - weight: 100
     labelSelector:
       matchExpressions:
       - key: k8s-app
         operator: In
         values:
         - kube-dns
     topologyKey: kubernetes.io/hostname
</code></pre> 
<ul><li>尽量使用控制器来管理容器（如 Deployment、StatefulSet、DaemonSet、Job 等）</li></ul> 
<h4><a id="Kubescheduler__178"></a>六、Kube-scheduler 配置</h4> 
<ul><li>设置 --kube-api-qps=100<br> 默认值是50</li></ul> 
<h4><a id="Kubecontrollermanager__183"></a>七、Kube-controller-manager 配置</h4> 
<ul><li>设置 --kube-api-qps=100<br> 默认值是20</li><li>设置 --kube-api-burst=100<br> 默认值是30</li></ul>
                </div>
            </body>
            </html>
            